FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
FLEET：从 logits 熵到文本生成中的增强轨迹
🧭 LLM 推理时采样优化
Kharkiv National University of Radio Electronics, Kharkiv, Ukraine
通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率
📌 工作参考价值（4 点）
- 替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
- 轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
- 确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
- 面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。